Het leengoed van la Berlière is al voor 1337 in handen van de prinsen de Ligne. In 1511 komt het in handen van de familie Saint-Genois des Mottes en later, in 1643 door erfenis, in dat van de familie d’Ennetières.
De in 1664 tot baronie verheven heerlijkheid wordt niet gespaard door de oorlogen van Lodewijk XIV. Het middeleeuwse kasteel wordt vernield en na 1677 vervangen door een nieuw gebouw.
Anno 1793 begint Balthasar d’Ennetières et des Mottes, echtgenoot van Rose de Sainte-Aldegonde de Noircarme, met de bouw van het huidige kasteel. Het wapen van beide echtgenoten prijkt overigens op het fronton op de voorgevel. De Doornikse architect Antoine-Joseph Payen le Vieux tekent het kasteel. Het wordt pas rond 1834-1835 voltooid. Het imposante gebouw, met U-vormig grondplan, rust op een onderbouw die aan drie zijden in een vijver duikt. Het vierhoekige gebouw van twee verdiepingen hoog vertoont een centraal voorgebouw en is in de hoeken versierd met vier rechthoekige torens.
In 1849 erft graaf Octave d’Oultremont de Wégimont de Duras, echtgenoot van de kleindochter van de bouwheer van het kasteel, het landgoed. Zijn kleinzoon Adhémar laat heel wat aanpassingen uitvoeren, een Franse tuin voor het kasteel, een landschappelijk park en vijvers aan de achterzijde, paardenstallen, een hoeve en een jachthuis. Graaf Adhémar overlijdt in 1910. Zijn twee zonen zijn verplicht het goed te verkopen. Zo komt het domein in 1912 in het bezit van de Bernheims, Later in dat van de familie Motte-Duthoit. In 1940 dient het domein als munitiedepot en wordt het niet langer onderhouden.
Wanneer de Jozefieten het kasteel in 1946 kopen, kunnen ze het van de ondergang redden. Zij laten het restaureren en doen hiervoor een beroep op architect Paul Stevens. Ze laten ook het park herwaarderen. Het kasteel verleent nu onderdak aan het College de La Berlière, een college voor secundair onderwijs.